PEAR: Progressive Evidence-Based AutoResearch for Industrial Search Systems
PEAR：面向工业搜索系统的渐进式证据驱动自动研究框架
🧭 Agent 驱动的搜索策略自动优化 ★ 深度解读
Global E-Commerce Agentic Search Team
提出 PEAR 框架，以证据驱动研究状态和置信门控多级验证阶梯，在电商搜索中显著提升订单指标
📌 工作参考价值（4 点）
- 多级验证阶梯 + 统一置信区间晋升规则：把候选评估拆成 Offline Replay / Shadow-Traffic / Rapid Online / Decision-Grade 四级，每级都输出效应量和置信区间，只有 CI 下界>0 才 PROMOTE，CI 包含 0 保留，CI 上界<0 停止。这个规则能避免在非平稳电商流量下用单点分数“keep-if-better”导致的瞬时增益误判，可直接复用到排序策略参数、召回权重、重排规则的自动化搜索。
- 独立研究状态 + 上下文证据积累：每个策略任务维护独立的假设、候选空间、证据记录，通过 Plan–Execute–Evaluate–Update 循环持续修订假设。在电商场景中，同一策略在不同时间、不同流量组成下效果可能完全不同，记录实验上下文并让 Agent 基于 CI 和假设得分（Support - Refute）做候选生成，比单纯保留历史最优更可靠。
- 代理指标选择要优先对齐订单等业务目标：论文发现代理模型对订单的聚合相对误差最小（-3.49%），点击（-16.02%）和 GMV（-18.23%）误差较大。在构建 Agent 自动化优化链路时，若要用代理模型做低层筛选，应优先选择预测误差小、与最终业务指标对齐的代理信号，而不是盲目用 CTR。
- 低层广筛 + 高层精评，严格控制在线实验成本：L2 阶段的 promotion rate 只有 1.5%~7.14%，意味着大部分候选在影子流量阶段就被过滤掉，只有少数进入真实在线实验。工程上可以借鉴这种漏斗式评估，把昂贵且有风险的在线 A/B 留给统计上显著的正效应候选，同时保留大规模探索能力。